在线免费视频视频(FVV)流是一个具有挑战性的问题,相对探索。它需要对体积表示,快速训练和渲染以满足实时限制的逐步更新,并需要少量的内存足迹,以进行有效的传输。如果实现了,它可以通过启用新颖的应用程序来增强用户体验,例如,3D视频会议和实时体积视频广播等。在这项工作中,我们提出了一项新颖的框架,用于使用3D高斯脱落(3D-GS)进行量化和高效编码(Queen)用于流式FVV。Queen直接在每个时间步长的连续框架之间直接了解高斯属性,而无需对它们施加任何结构性约束,从而允许高质量的重建性和普遍性。为了有效地存储残差,我们进一步提出了一个量化 - 表格性框架,其中包含一个学识渊博的潜在码头编码器,用于有效地量化除高斯位置以外的属性残差和学习的门控模块以稀疏位置残留物。我们建议将高斯视图空间梯度差矢量作为信号,以分离场景的静态和动态内容。它是有效的稀疏学习和加快训练加快训练的指南。在不同的FVV基准测试方面,女王的表现优于所有指标的最新在线FVV方法。值得注意的是,对于几个高度动态的场景,它将模型大小降低到仅0。每帧在5秒钟以下训练时每帧7 MB,并以约350 fps的形式渲染。
主要关键词
![arxiv:2412.04469v1 [CS.CV] 2024年12月5日-NIPS PapersPDF文件第1页](/bimg/3/3c0e4dd6a1a762b1ef62a327c846f302d0d0cd72.webp)
![arxiv:2412.04469v1 [CS.CV] 2024年12月5日-NIPS PapersPDF文件第2页](/bimg/f/fbfef8dcc9958894ac883bd5e25994d6f9b1fc96.webp)
![arxiv:2412.04469v1 [CS.CV] 2024年12月5日-NIPS PapersPDF文件第3页](/bimg/5/5b559f76f0e6765703e77d691495f7f343ae03b5.webp)
![arxiv:2412.04469v1 [CS.CV] 2024年12月5日-NIPS PapersPDF文件第4页](/bimg/3/313e8efeb4f5c067fc76ae91506f0116b3970493.webp)
![arxiv:2412.04469v1 [CS.CV] 2024年12月5日-NIPS PapersPDF文件第5页](/bimg/e/e2c02b8822c9315ac4dbfc83d72a3e1d574a0313.webp)
